#conjuntos de datos web

Práctica con FineWeb: streaming, filtrado, deduplicación y tokenización

Aprende a procesar el dataset FineWeb: streaming, filtrado, deduplicación con MinHash y tokenización GPT-2. Análisis práctico de corpus web a gran escala.